Nho lâm ngoại sử không có một cốt truyện rõ rệt, tác phẩm trình bày hết nhân vật này đến nhân vật khác chứ không xoay quanh một cốt truyện duy nhất hoặc xoay quanh số phận nhân vật chính. Đúng như Lỗ Tấn đã nói: Nho lâm ngoại sử là bức tranh ghép bằng các mảnh giấy vụn[1]. Kết cấu truyện có thể chia làm 4 phần:

• Phần 1: Xây dựng nhân vật Vương Miện, một nhà Nho chân chính, gần bùn mà chẳng hôi tanh mùi bùn, làm tấm gương phản chiếu các nhà nho trong xã hội (hồi 1).
• Phần 2: Dựng lên bức tranh về bọn nhà Nho thối nát, tâm hồn ô nhiễm công danh, ham mùi phú quý làm tấm gương phản diện về các nhà Nho (từ hồi 2 đến hồi 30).
• Phần 3: Nêu lên tấm gương chính diện của các nhà Nho, những nhà Nho chân chính, chán ghét khoa cử công danh, đồng tình ủng hộ nhân dân lao động (từ hồi 31 đến hồi 37).
• Phần 4: Miêu tả sự suy tàn của "rừng nho" và sự sụp đổ không thể tránh khỏi của phong hoá (từ hồi 38 đến hết).